[新機能] S3 の利用状況が一目瞭然！しかも無料！「Amazon S3 Storage Lens」がリリースされました！

S3 の利用状況が手にとるようにわかる！

#Amazon S3

#S3 Storage Lens

丸毛篤史

2020.11.19

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

本日のアップデートで Amazon S3 Storage Lens がリリースされました。

Amazon S3 Storage Lens delivers organization-wide visibility into object storage usage and activity trends

S3 Storage Lens とは

S3 Storage Lens はオブジェクトストレージの使用状況とアクティビティの傾向を可視化し、コスト効率化、データ保護に関するベストプラクティスに向けた推奨事項が提供されます。また AWS Organizations と連携することで AWS Organizations 内のアカウント全体のストレージ使用状況、アクティビティを単一ビューで管理できます。

無料でも使える！

標準メトリクスのみの場合、S3 Storage Lens は無料で利用できます（素晴らしい！）。高度なメトリクスおよび推奨事項を利用する場合でもモニタリング対象 100 万オブジェクトあたり $0.20 です。

課金項目	価格
S3 Storage Lens の無料メトリクス	無料
S3 Storage Lens の高度なメトリクスと推奨事項	$ 0.20/月の監視対象 100万オブジェクトあたり

無料メトリクス

無料メトリクスは以下の 15 個で、メトリクスの保持期間は 14 日です。

ストレージの合計
オブジェクト数
現行バージョンのバイト数
現行バージョンのオブジェクト数
旧バージョンのバイト数
旧バージョンのオブジェクト数
削除マーカーのオブジェクト数
暗号化されたバイト数
暗号化されたオブジェクト数
レプリケートされたバイト数
レプリケートされたオブジェクト数
オブジェクトロックのバイト数
オブジェクトロックのオブジェクト数
未完了の MPU バイト数
未完了の MPU オブジェクト数

高度なメトリクス

高度なメトリクスは以下の 14 個で、メトリクスの保持期間は 15 ヶ月です。

すべてのリクエスト
GET リクエスト
PUT リクエスト
HEAD リクエスト
POST リクエスト
DELETE リクエスト
LIST リクエスト
リクエストを選択
スキャンされたバイトを選択
返されたバイトを選択
ダウンロード済みバイト数
アップロード済みバイト数
4xx エラー
5xx エラー

エクスポート可能

Amazon Quicksight、Amazon Athena、Amazon Redshift などで分析するためにデータを CSV または Apache Parquet 形式で S3 に毎日エクスポートすることも可能です。

対応リージョン

本日からすべての商用リージョンで利用できます。

やってみる

無料メトリクスのダッシュボードはデフォルトで提供されていますので、今回は高度なメトリクスも含めたダッシュボードを作成してみたいと思います。

ダッシュボードの作成

S3 管理コンソールから [Storage Lens] - [ダッシュボード] を開き、ダッシュボードの作成 をクリックします。

任意のダッシュボード名を入力し、ホームリージョンを指定します。ホームリージョンはメトリクスデータを保存するリージョンであって、モニタリング対象のリージョンは別の箇所で指定します。ステータスは 有効にする を選択します。

ダッシュボードの範囲でリージョンの選択または除外、バケットの選択または除外を指定します。今回はすべてのリージョン、すべてのバケットを対象にします。

メトリクスの選択では 高度なメトリクスとレコメンデーション を選択します。アクティビティメトリクスを有効化 は自動的にチェックが入ります。高度なメトリクスを利用の場合、プレフィックスレベルでの集計も可能ですが今回は設定せずに進みます。

メトリクスのエクスポート設定も一旦は 無効にする とし、ダッシュボードを作成 します。

高度なメトリクスを使ったダッシュボードの内容

残念ながらダッシュボードを作成してから 48 時間待つ必要があるようです。。

自身のアカウントではまだ確認できませんので、公式ブログより画像をお借りしました。高度なメトリクスを使用したダッシュボードでは、にコスト効率の改善策や、データ保護のベストプラクティスを適用する方法などが推奨事項として表示されます。

以下の例では暗号化されたバケットは全体の 44.39% なので、すべてのバケットが暗号化されるようにデフォルト暗号化の設定を確認するように促すメッセージが表示されています。

（引用元：Introducing Amazon S3 Storage Lens – Organization-wide Visibility Into Object Storage）

標準メトリクスを使ったダッシュボードの内容

このままでは内容が薄いので標準メトリクスのダッシュボードを確認することにします！！標準メトリクスのダッシュボードは default-account-dashboard がデフォルトで提供されているのでこちらを使用します。

ストレージの合計、オブジェクトの数など一目瞭然ですね。上のタブを切り替えることで「アカウント」、「リージョン」、「ストレージクラス」、「バケット」別に確認することもできます。

未完了の MPU バイト数は要チェックや！

個人的には [コスト効率] の % (未完了の MPU バイト数) が見れるのが最高だと思います。MPU = マルチパートアップロードが未完了の場合、部分的にアップロードされたオブジェクトがゴミとして残ります。そもそも MPU はそれなりに大きなサイズのオブジェクトをアップロードする際に利用しますので、ゴミもそれなりに大きいです。「S3 の利用料金、なんでこんなに高いん、、？」という相談を受けて調べたところ大半が MPU のゴミだったということもありますので、是非、一度チェックしてみてください。

グラフでストレージ合計、オブジェクト数の傾向を確認できます。

[上位 N の概要] ではメトリクスごとに上位 N 番目、下位 N 番目までの一覧を簡単に確認できます。これが無料で使えるとか最高やん。

バブル分析では X 軸、Y 軸を自由に組み合わせてバケットごとの傾向を可視化することも出来ます。以下の例では X 軸 平均オブジェクトサイズ、Y 軸 オブジェクト数、サイズ ストレージの合計 を指定しています。十字点線の交差点が全体の平均になりますので、例えば矢印のバケットは「合計サイズは小さいけど、平均オブジェクトサイズが大きい」というのが視覚的にわかりますね。